MILO：基于块级低秩压缩的高效多示例上下文学习
🧭 LLM 推理 · KV cache 低秩压缩
Google · University of Central Florida
利用块级低秩压缩和基于信息熵的动态秩分配，将多示例ICL的KV缓存降低50%、吞吐提升1.8倍
📌 工作参考价值（3 点）
- 在电商推荐/Agent场景中，常需将用户历史行为、商品描述或工具调用日志构造成超长上下文做 many-shot ICL，KV cache 内存是线上服务瓶颈；可借鉴 MILO 的块级低秩压缩，对 KV cache 分块进行 SVD 低秩近似，减少显存占用并提升吞吐。
- 动态秩分配策略：根据信息熵（或实际可用的 attention score 分布）评估每个块的重要性，对高信息密度块保留更多秩，对冗余块大幅压缩；这一思想可迁移到推荐系统的长序列用户建模或 Agent 对话历史压缩，避免均匀压缩导致关键信息丢失。
- 工程实现上，MILO 在 Qwen2.5 上达到 50% KV cache 内存降低和 1.8× 吞吐提升，且分类/推理基准性能几乎无损，说明低秩压缩可作为 LLM 在线推理的默认优化手段，尤其适合广告/推荐场景中的大模型 serving。
DeepSeek-V4.1-Flash：极限压缩KV缓存的长上下文多模态MoE
🧭 Agent推理优化 · KV缓存压缩 ★ 深度解读
DeepSeek-AI
通过跨层KV复用、FP4量化与SWA有界重放，将每token全局KV缓存降至890字节，实现近恒定decode成本
📌 工作参考价值（4 点）
- KV缓存压缩方案可直接迁移：跨层复用全局KV与Top-K索引（CSA2的Full/Reindex/Reuse三模式）可大幅降低长上下文Agent的内存占用，尤其适合电商多轮对话、工具调用频繁的场景，可将持久化KV缓存缩小至1/8。
- CED架构适合输入重的工作负载：prefill阶段仅激活前一半层（8B参数），对输入token极多的场景（如商品详情+用户行为序列拼接）能显著降低首token延迟，可借鉴其非对称激活设计。
- SWA Bounded Replay的工程取舍：用近似的窗口重放替代精确重建SWA KV，仅需重放最近n_win个token，就能免去持久化SWA缓存，节省SSD和主机内存，适合在线推荐系统中高频短会话的上下文管理。
- FP4量化用于KV缓存而非matmul：对KV cache做训练时量化（QAT）可安全使用FP4精度，仅存储减半而不依赖硬件原生FP4矩阵乘支持，可复用到现有推理引擎，降低HBM压力。
解析器状态指导的结构化生成 KV 缓存持久化
🧭 LLM 推理优化 · 结构化生成 · KV 压缩 ★ 深度解读
Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences
利用约束解码的解析器状态设计离线校准的 KV 持久化策略，大幅提升结构化生成在压缩推理下的可靠性
📌 工作参考价值（4 点）
- 电商 Agent 中大量 JSON/function call 输出，可直接复用 constrained decoding 暴露的 parser states 作为 KV 保留信号。例如将必需字段、枚举值、参数名标记为高保护 bucket，避免压缩导致关键 schema 信息丢失，降低下游调用失败率。
- 借鉴「离线校准 + 线上查表」的工程化方式：用开发集离线测量每个结构标签+层组的任务错误敏感性和注意力失真，生成策略表；线上只做轻量查找和常量预算状态更新，适合低延迟、高并发推荐/搜索 Agent 服务。
- 任务错误敏感性设置保护下限比单纯依赖注意力分数更可靠。在推荐理由生成、商品参数抽取等结构化任务中，优先保护影响最终可执行性的 token（如字段名、枚举值），可以显著提升压缩后的可靠性。
- 分层分组思路：同一结构角色在不同 Transformer 层采用不同精度（低层低精度、高层高精度），可迁移到长上下文推荐模型或多轮 Agent 对话的 KV 管理，进一步节省显存。
Motif 3：分组差分潜注意力与细粒度 MoE 的高效 LLM
🧭 大模型架构优化 · 稀疏 MoE ★ 深度解读
Motif Technologies
提出 GDLA 注意力及 384 选 8 稀疏 MoE，结合在线蒸馏实现高效 LLM 推理与多能力整合
📌 工作参考价值（4 点）
- KV 缓存压缩用于 Agent 长记忆：GDLA 结合差分注意力与 MLA，将 KV 缓存降低至 16 个潜表示头，显著减少多轮 Agent 交互的显存占用，可直接启发推荐系统中的大模型会话 bot 或长期用户建模。
- 细粒度专家路由与负载均衡：384 选 8 的稀疏 MoE 配合 sigmoid 路由、辅助损失退火等策略，确保专家充分利用且避免崩溃，可迁移到大规模推荐模型的混合专家路由设计。
- 多教师在线蒸馏聚合能力：用 6 个 RL 专精教师与 1 个 SFT 软件工程教师进行 MOPD 蒸馏，得到兼具推理、编码、工具使用能力的统一模型，方法可直接用于电商 Agent 能力集成，将细分任务专家合并至单一服务模型。
- MXFP8 低精度训练与通信优化：专家激活预量化、梯度同步 BF16、免 All-Gather 权重保留等技巧，降低显存和通信成本，对推荐系统中需要大规模 GPU 集群稀疏训练的团队有实用价值。
解锁非均匀KV缓存压缩以高效支持多轮LLM服务
🧭 LLM服务 · 非均匀KV缓存压缩
Hanyang University · Rebellions
提出Tangram框架，通过静态预算预留、粗糙分页和提前负载均衡，使非均匀KV压缩在多轮LLM服务中可达最高2.6倍吞吐提升
📌 工作参考价值（4 点）
- 多轮对话推荐 / Agent 场景中，KV 缓存膨胀是吞吐瓶颈，非均匀头级压缩精度保持更好，Tangram 展示了如何通过离线校准头的保留模式并静态规划调度，避免运行时碎片回收开销，对自研推理引擎有直接参考价值。
- 可借鉴“预算预留”：请求调度时预先固定每头压缩后内存大小，消除 prefill 阶段的页面回收（原占 25% prefill 时间），减少延迟抖动，适合对延迟敏感的在线服务。
- “粗糙分页”将预算相近的头分入独立页表，将内部碎片转化为可回收内存，提升显存利用率，利于在有限显存下支撑更长对话历史。
- “提前负载均衡”离线计算 GPU 分区，彻底消除 decode 步中 15-20% 的动态重规划开销，这一思想可迁移到需要 GPU 并行推理的推荐模型部署中。
FlashMemory：基于前瞻稀疏注意力的超长上下文KV缓存压缩
🧭 LLM 推理优化 · 稀疏注意力
Tencent · The Hong Kong University of Science and Technology (Guangzhou) · Tsinghua University · Independent Researchers
提出前瞻稀疏注意力与神经记忆索引器，将KV缓存压缩至13.5%且准确率无损
📌 工作参考价值（4 点）
- 借鉴“前瞻记忆索引”思想，在需要维护长历史对话或用户行为的电商推荐Agent中，可训练轻量级索引器预测未来需要的记忆片段，而非保存全量状态，大幅降低内存开销。
- 解耦训练策略值得工程化：索引器作为双编码器，用标准检索训练框架单独训练，无需加载主模型，可快速迭代，特别适合将记忆管理模块插入已有生产模型。
- 稀疏注意力去噪效应提示：在长序列推荐建模（如用户长期行为序列）中，只保留与当前查询相关的关键交互，可能去除无关噪声，提升模型精度。
- 对于超长上下文场景（如多轮Agent对话、长文档分析），KV缓存压缩率超90%且稳定性保持，可直接指导自研LLM推理引擎的显存优化。